Perjalanan politik Tharman bermula dengan penampilan sulungnya pada pilihan raya umum tahun 2001 sebagai sebahagian daripada lima anggota pasukan PAP di Kawasan Undi Perwakilan Berkumpulan Jurong, di mana mereka memperoleh 79.75% undian yang memberangsangkan. Berikutan kemenangan ini, beliau memegang pelbagai jawatan dalam kerajaan. Tharman pada mulanya berkhidmat sebagai Menteri Negara Kanan Perdagangan dan Perindustrian dan Menteri Negara Kanan Pendidikan. Pada tahun 2003, beliau dilantik sebagai Menteri Pendidikan. Jawatan itu disandangnya sehingga tahun 2008.

Pada pilihan raya umum tahun 2006, beliau mengekalkan kerusi parlimennya dan mengambil jawatan tambahan sebagai Menteri Kedua Kewangan di samping portfolio pendidikannya. Pada 1 Disember 2007, Tharman dilantik sebagai Menteri Kewangan. Selepas pilihan raya umum tahun 2011, beliau menjadi Timbalan Perdana Menteri sambil terus berkhidmat sebagai Menteri Kewangan. Pada masa yang sama, beliau juga memegang jawatan sebagai Menteri Tenaga Manusia antara tahun 2011 dan tahun 2012. Tharman meletak jawatan sebagai Menteri Kewangan pada 30 September 2015, selepas sembilan tahun memegang jawatan itu.

Pada pilihan raya umum tahun 2015, Kawasan Undi Perwakilan Berkumpulan Jurong, yang diketuai oleh Tharman, memperoleh 79.3% undi, mengalahkan pasukan parti Singaporeans First. Pengaruh Tharman dalam PAP juga semakin berkembang apabila beliau dipilih menganggotai Jawatankuasa Eksekutif Pusat pada Disember 2002 dan dilantik sebagai Penolong Setiausaha Agung ke-2 pada Mei 2011. Selepas pilihan raya umum tahun 2015, beliau mengekalkan jawatannya sebagai Timbalan Perdana Menteri dan telah dilantik sebagai Menteri Penyelaras Dasar Ekonomi dan Sosial pada Oktober 2015.

Pada 23 April 2019, rombakan Kabinet menyebabkan Tharman dan Teo Chee Hean dilantik sebagai Menteri Kanan berkuat kuasa mulai 1 Mei 2019. Mereka melepaskan portfolio Timbalan Perdana Menteri masing-masing, dan Tharman mengambil peranan sebagai Menteri Penyelaras Dasar Sosial, menasihati perdana menteri mengenai dasar ekonomi.

Tharman meneruskan kerjaya parlimennya dengan mengekalkan kerusinya di Kawasan Undi Perwakilan Berkumpulan Jurong pada pilihan raya umum tahun 2020, memperoleh 74.62% undian menentang pasukan Red Dot United. Bagaimanapun, pada Julai 2023, beliau meletak jawatan daripada Parlimen, semua jawatan kerajaan, dan sebagai ahli PAP untuk bertanding sebagai calon dalam pilihan raya presiden Singapura 2023.